Dans le domaine de l'intelligence artificielle actuel, l'entraînement des modèles ne se limite pas à la conception de meilleures architectures ; il nécessite également une gestion efficace des données. Les modèles d'IA modernes nécessitent d'énormes quantités de données, qui doivent être acheminées rapidement vers les GPU et autres accélérateurs. Cependant, les systèmes traditionnels de chargement de données sont souvent incapables de répondre à cette demande, ce qui entraîne des temps d'inactivité du GPU, une augmentation des temps d'entraînement et une hausse des coûts. Ce problème est particulièrement flagrant lorsqu'il s'agit de mettre à l'échelle ou de traiter plusieurs types de données. Pour résoudre ces problèmes, Meta AI a développé SPDL (Scalable and ...)